Lychee:高召回向量搜索的倒排列表认证筛选
🧭 高性能向量检索 · GPU 倒排索引
University of Washington, Tacoma School of Engineering and Technology
Lychee 在 GPU 倒排索引上通过 certified screening 跳过大部分向量读取,实现高召回向量搜索加速
📌 工作参考价值(4 点)
- 在电商/推荐的高召回向量召回场景(如风控、相似商品去重、内容安全)中,可在现有 IVF/倒排索引上增加基于 anchor 的 certified lower bound 预筛,用 GPU tensor cores 做数值比对,避免读取全精度向量,显著降低显存带宽压力;可参考其证明框架,确保不损失召回。
- 若业务使用 cuVS / Faiss IVF-Flat,可借鉴 Lychee 的筛选顺序:先按 bound 递增处理候选,快速排除大部分不相关向量,只对少数候选计算精确距离;尤其适合 probe 数较大、追求 0.999+ recall 的场景,吞吐不再与 probe 数量成反比。
- 多 GPU 扩展方案对亿级/十亿级商品 embedding 库有参考价值:通过分片和跨 GPU 合并,可在 4 卡上达到十亿向量 0.9999 recall 的工程可行性。
- 对使用量化/图索引但需要高召回的业务,该方法的“certified exact top-k of probed lists”特性可替代部分重排,避免全量 rerank,平衡精度与延迟。
RemoteANN:面向云对象存储的原生向量搜索引擎
🧭 云对象存储上的向量检索系统 ★ 深度解读
Nanyang Technological University · ByteDance
通过 IVF+RaBitQ 量化与数据重排序、请求合并等协同设计,大幅降低云对象存储向量搜索的 I/O 与 API 请求成本
📌 工作参考价值(5 点)
- 若将大规模 embedding 卸载到 S3 等对象存储以降低存储成本,应优先采用 IVF 类索引而非图索引:图索引多跳路由会叠加网络 TTFB,IVF 单轮拉取候选簇更适合高延迟远程存储。
- 借鉴 RaBitQ 量化思路:将向量压缩为 1-bit prefix 常驻内存用于粗筛和距离估计,其余低精度码放远程存储,可大幅减少远程请求,适合嵌入召回的大规模粗排阶段。
- 数据重排序 + 请求合并是降低 API 调用费用的关键:对簇按质心最近邻路径排序(近似 Hamiltonian path),簇内按到质心距离排序,使查询目标范围局部集中,再用动态规划合并 Range-GET 请求,可迁移到任何按请求计费的远程数据读取场景。
- 本地 NVMe SSD 缓存采用自适应阈值:当请求范围大于阈值时整簇下载填充缓存,平衡带宽与缓存命中率,适合电商热门商品/用户 embedding 的冷热分层访问。
- QGKMeans 用 SymphonyQG 加速 k-means 质心分配,索引构建时间可降低数倍,适用于需要频繁重建向量索引的业务(如商品库更新、A/B 测试多版本索引)。
SOLO:基于扫描采样倒排列表的可认证召回相似性搜索
🧭 向量检索 · 可认证召回 ANN 索引
CICESE
SOLO 索引以无排序启发式的扫描倒排列表实现可证明召回,在 1GB 内存下 Deep-100M 召回 0.9977
📌 工作参考价值(4 点)
- 大规模向量召回的内存优化:在商品 embedding 库亿级甚至十亿级时,SOLO 的扫描式倒排索引只需少量字节/对象(如 10.7 字节)即可达到 0.9977 召回,远低于 HNSW/DiskANN 的内存下限;适合作为电商推荐召回的高性价比底座,尤其在内存受限的在线服务或边缘部署中。
- 可认证召回特性:SOLO 召回等于覆盖概率,可通过一次查询样本的 ground-truth pass 离线算出所有操作点,无需在线反复 A/B;可将召回 SLA 直接与索引参数绑定,降低质量风险。
- 动态更新友好:插入等于一次搜索、删除精确,相比 HNSW 的复杂删除和图维护,更适合商品频繁上下架、embedding 定期更新的场景;可简化索引运维。
- 结构可扩展:路由与扫描分离、叶节点扫描的设计便于与压缩/量化 embedding 结合,进一步节省内存;且路由器可递归索引,适合构建分层/多级召回。
Target 零售商品搜索的实用混合检索方案
🧭 电商搜索 · 混合检索与结果融合
Target Corporation
Target 混合词法-向量检索,加权交错融合,线上 CTR/转化提升并零结果减半
📌 工作参考价值(4 点)
- 电商搜索/推荐候选生成不要用向量完全替代词法或协同信号:保留双通道,向量通道承接自然语言和长尾查询,词法/ID 通道保证精准意图与品牌/SKU 命中;同时把 zero-result 作为上线必须观测指标。
- 多路融合优先实验 weighted interleaving:相比简单分数归一化或串行合并,它能更稳地控制各通道曝光与排序多样性,本案例线上 CTR、订单转化和每访客需求均获得提升。
- 将精度控制作为最终结果集独立环节:对向量召回噪声做词法命中、规则或分类器过滤,再交给精排,尤其适合电商 SKU/品牌/规格等硬约束场景。
- 生产部署把 embedding 计算、ANN 索引、缓存和融合放关键路径优化,并对向量通道做降级与超时控制,保证低延迟;可复用到实时搜索和推荐召回。
面向动态时间戳感知最近邻搜索的版本化统一图索引
🧭 时间感知向量检索加速
Rochester Institute of Technology
TiGER 用版本化统一图支持任意时间区间 ANN 查询,无需过滤或分段子图,QPS 提升 5 倍
📌 工作参考价值(4 点)
- 时效性召回加速:电商推荐中经常需要按时间范围过滤商品/内容向量(如近期上新、近 N 天行为),TiGER 的统一图结构可直接查询任意时间区间,避免 post-filtering 造成的召回缺失或延迟,适合做实时召回层。
- 动态向量库无需反复重建:商品 embedding 频繁增删,传统分段子图需维护多张图或重建;TiGER 的版本化连通性支持动态更新,可降低流式更新成本。
- RAG/Agent 场景的时间敏感检索:在 Agent 工作流中,需要检索“最近发生”的文档或事件,TiGER 可作为底层向量索引,提升时间过滤场景下的检索效率,避免先召回再过滤的性能损耗。
- 工程实现启发:如果业务中已用 HNSW 等图索引,可以考虑引入版本化边/节点管理,避免为每个时间范围单独建图,减少内存与同步开销。
QASP:查询自适应鲁棒向量搜索策略
🧭 查询自适应向量搜索策略 ★ 深度解读
Amazon
通过学习预测每个查询的召回进度曲线,以极低推理开销实现查询自适应搜索,显著降低方差与数据访问。
📌 工作参考价值(4 点)
- 用回归预测召回曲线替代直接预测探测数:训练一个轻量模型预测任意探测数下的累积召回,再通过阈值得到探测数,可获得更丰富的监督信号(每查询L个标签),且支持跨召回目标泛化。在生产环境中,可以作为推荐系统向量召回(如 Faiss IVF)的查询自适应模块。
- 归一化、尺度不变特征设计:特征如相对距离(tanh(d(q,μ_l)/d(q,μ_1)-1))、基于质心的局部固有维度、累积簇大小比例等,将查询难度与索引特性编码为统一形式,可直接迁移到其他向量搜索设置。
- 反应式校准机制不必重新推理:利用预测的逐簇增量召回率,在搜索时用 EWMA 监控实际发现率,若连续低于预测则提早终止,高于则延长搜索,作为安全网,不需额外模型调用,实现起来轻量高效。
- 极轻量模型便于大规模部署:QASP-DL 仅 1.5K 参数,内存 6-7 KB,吞吐 124K qps,可在 CPU 上批量推理,对搜索延迟影响极小。该模式适合在现有向量检索引擎中作为预处理步骤集成。
动态探索图:支撑动态多媒体数据集高效近邻搜索的新方法
🧭 动态向量索引 · 图算法优化
Visual Computing Group, HTW Berlin
提出动态图索引 DEG,以连通性保持顶点删除和分布无关扩展实现高效动态 ANNS
📌 工作参考价值(4 点)
- 电商推荐中商品向量索引频繁增删(新品/下架),DEG 的在线动态更新机制可替代全量重建,降低工程复杂度与计算开销。
- 顶点删除算法保证图连通性,可借鉴到召回索引的结点下线逻辑,避免因删除引发召回缺口。
- 分布无关的图扩展不依赖数据分布先验,适合电商长尾、冷热不均的嵌入分布,维持索引平衡。
- 流式场景下构建时间与检索吞吐优于 FreshDiskANN 等方法,适合实时推理服务,可转用到 Agent 动态知识库的向量检索模块。
基于图Spanner的HNSW精度保证框架
🧭 近似最近邻检索 · 精度保证
University of Toronto · The University of Texas at Arlington · IIT Bombay
通过Certify-then-Rectify框架,动态认证HNSW搜索并利用spanner理论提供最坏情况正确性保证
📌 工作参考价值(4 点)
- 可在线部署轻量级认证器评估HNSW召回质量,避免因贪婪搜索遗漏关键近邻,适合高召回率场景(如广告匹配)。
- 利用极值理论估计spanner拉伸因子提供距离上界,无需重建索引即可动态平衡效率与准确性。
- 过滤搜索扩展可直接应用于带属性约束的商品向量检索(如分类、价格筛选),提升复杂查询的可靠性。
- 分层纠正策略允许在绝大多数查询中保持HNSW速度,仅在必要时触发精确搜索,适合大规模在线服务。
Grep 是否就已足够?代理框架如何重塑代理式搜索
🧭 Agent ★ 深度解读
PricewaterhouseCoopers
系统实验揭示:检索策略(grep vs 向量)的效果依赖于代理框架与工具输出方式,内联 grep 在对话记忆任务中整体更强